"""
从huggingface拉取模型会遇到无法连接的问题
使用国内镜像网站下载模型到本地加载模型
时间：2024/8/20 下午3:08
"""
from transformers import BertTokenizer

# 初始化BERT tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 原始文本
text = "Hello, BERT is amazing!"

# 使用tokenizer进行分词
tokens = tokenizer.tokenize(text)
print("Tokens:", tokens)

# 将tokens转换成input_ids和attention_mask
inputs = tokenizer(text, return_tensors="pt")
print("Input IDs:", inputs['input_ids'])
print("Attention Mask:", inputs['attention_mask'])

